ECCV2018|视觉目标跟踪之DaSiamRPN

极市平台（ExtremeMart）是深圳极视角旗下的专业视觉算法开发与分发平台，为开发者提供行业场景集，每月上百真实项目需求，算法分发，技术共享等，旨在联合开发者建立起良好的计算机视觉生态。已与上百名开发者建立了合作并转化了上百种视觉算法。

为加速广大开发者视觉算法的转化及变现，极市开启了有奖视觉demo征集活动，通过测试的优秀demo（不需要源码！）提交者将会得到丰厚奖励和更多合作机会，点击了解详情。

来源：目标检测与跟踪

https://zhuanlan.zhihu.com/p/42546692

作者团队提出的DaSiamRPN（Distractor-aware SiamRPN）在VOT2018上取得了非常Top的成绩（EAO=0.38+），具体名次会在两周之后的ECCV VOT Workshop上面公布。

经过长时间的准备，SiamRPN (CVPR2018) 和DaSiamRPN (ECCV2018) 的训练模型和结果复现代码上线GitHub: 

https://github.com/foolwood/DaSiamRPN

在这个repository 中，大家可以下载我们已经train的model, 复现我们在VOT2018 Challenge中的结果 (EAO=0.38+), 代码方面有什么问题的话，大家直接开issues或者私信@Qiang Wang

（https://www.zhihu.com/people/2d6e027e5d25744f64f437b50df5dea1）

下面和大家分享一下我们在这次新工作过程中的一些发现：

1，在做完SiamRPN之后，我们发现虽然跟踪的框已经回归地比较好了，但是响应的分数仍然相当不可靠，具体表现为在丢失目标的时候，分类的分数仍然比较高（例如0.8+），换句话说，其实我们推断SiamRPN只是学习到了objectness/non-objectness的区分，一个具体的例子见下图（左半部分）：

2, 之所以出现上面的问题，我们的结论是 训练过程中的样本不均衡造成的. 一个是正样本种类不够多，导致模型的泛化性能不够强；我们的解决方案是加入detection的图片数据, pair可以由静态图片通过数据增益生成；加入detection数据生成的正样本之后，模型的泛化性能得到了比较大的提升. 第二个样本不均衡来自于难例负样本，在之前的Siamese网络训练中, 负样本过于简单，很多事是没有语义信息的；我们的解决办法是用不同类之间的样本（还有同类的不同instance）构建难例负样本，从而增强分类器的判别能力. 不同种类的正负样本的构建可以参见下图. 以上两个改进大大改善了相应分数的质量，见上图的右半部分：在丢失目标的时候，相应分数随之变得很低，说明跟踪器的判别能力得到了改善。

3, 有了高质量的响应分数之后，一个bonus是可以做long-term的tracking. 我们采用了一个比较简单local-to-global的扩展搜索区域方法，在UAV20L上面取得了state-of-the-art的结果:

4, 在VOT实验方面，DaSiamRPN超过了ECO，速度是160+FPS， 下面是一些实验结果图：

上面的VOT2017的结果（0.326）是三月份的，在参加VOT2018的时候，EAO已经来到了0.38+（手动优秀）。

还有UAV123数据集上的实验结果：

还有ablation的分析：

以及不同GPU平台上的速度比较：

最后我想说的是：希望大佬们多多指教，大家一起把单目标做快做好，一起push学术界的前沿研究以及工业界的场景落地~

*推荐阅读*

---

为加速广大开发者视觉算法的转化及变现，极市开启了有奖视觉demo征集活动，通过测试的优秀demo（不需要源码！）提交者将会得到丰厚奖励和更多合作机会，点击了解详情。